Super-Tuning: From Activation-Aware Pruning to Sparse Fine-Tuning
超级调优：激活感知剪枝引导的稀疏微调
🧭 稀疏参数高效微调 · 激活感知
KAUST
复用剪枝中的激活感知重要性分数来固定稀疏可训练参数，提出Super和Supra实现高效微调
📌 工作参考价值（4 点）
- 在电商搜索/推荐中微调LLM（如查询理解、文案生成）时，可用Super根据少量校准数据确定关键权重子集，降低80%以上可训练参数仍保持性能。
- Supra混合LoRA与稀疏更新，通过预算分割规则灵活平衡低秩与稀疏分量，适合在资源受限的线上服务中部署。
- 使用Wanda-style激活加权重要性（权重与输入激活乘积）作为稀疏选择标准，比纯幅值更关注任务相关特征，可用于快速适配新品类或活动。
- 该方法的支持集固定性使得不同任务可共享相同的稀疏mask，只需切换可训练值，实现多任务间存储高效切换。